从81页继续往下：

今天看了两部分，1是神经网络（深度学习）和机器学习的区别，简单的来说，深度学习是端到端的机器学习，不需要人工介入。而机器学习里面有一部分，比如特征量的选择部分，是人为指定的。另外，损失函数表示某个训练出的模型相对于测试集的正确结果对比，判断能力的恶劣程度。-by 飞霜

第4章：神经网络的学习

神经网络的学习，这里所说的学习是指从训练数据中自动获取最优权重参数的过程。学习的目的就是以该损失函数为基准，找出使他的值达到最小的权重参数。为了找出尽可能小的损失函数的值，我们将介绍利用了函数斜率的梯度法。

4.1 从数据中学习

神经网络的特征就是可以从数据中学习。所谓从数据中学习，是指可以由数据自动决定权重参数的值。在实际的神经网络中，参数的数量成千上万，在层数更深的深度学习中，参数的数量甚至可以上亿，想要人工决定这些参数的值时不可能的。

本章将介绍神经网络的学习，即利用数据决定参数值的方法，并用python实现对MNIST手写数字数据集的学习。

4.1.1 数据驱动

数据是机器学习的核心，这种数据驱动的方法，脱离了过往以人为中心的方法。机器学习的方法极力避免人为接入，尝试从收集到的数据中发现答案（模式）。

比如下图手写识别5的例子：

一种方案是，先从图像中提取特征量，再用机器学习技术学习这些特征量的模式。这里所说的特征量是指可以从输入数据（输入图像）中准确地提取本质数据（重要的数据）的转换器。图像的特征量通常表示为向量的形式，在计算机视觉领域，常用的特征量包括SIFT，SURF，和HOG等。使用这些特征量将图像数据转换为向量，然后对转化后的向量使用机器学习中的SVM、KNN等分类器进行学习。

机器学习的方法中，由机器从收集到的数据中找出规律性。与从零开始相处算法相比，这种方法可以更高效地解决问题，也能减轻人的负担。但是需要注意的是，将图像转换为向量时使用的特征量仍是由人设计的。对于不同的问题，必须使用合适的特征量（必须设计专门的特征量），才能得到好的结果。比如，为了区分狗的脸部，人们需要考虑用于识别5的特征量不同的其他特征量。也就是说，即使使用特征量和机器学习的方法，也需要针对不同的问题人工考虑合适的特征量。

如下图所示，图中展示了神经网络（深度学习）的方法，可以看出该方法不存在人 为介入。

深度学习有时也称为端到端机器学习（end-to-end machine learning）.这里所说的端到端是指从一端到另一端的意思，也就是从原始数据（输入）中获得目标结果（输出）的意思。

神经网络的优点是对所有的问题都可以用同样的流程来解决。比如，不管要求解的问题是识别5，还是识别狗，亦或是识别人脸，神经网络都是通过不断地学习所提供的数据，尝试发现待求解的问题的模式。也就是说，与待处理的问题无关，神经网络可以将数据直接作为原始数据，进行端到端学习。

4.1.2 训练数据和测试数据

一般将数据分为训练数据和测试数据两部分来进行学习和试验等。首先，使用训练数据进行学习，寻找最优的参数；然后，使用测试数据评价训练得到的模型的实际能力。

为什么要使用测试数据来评价训练数据呢？因为追求的是模型的泛化能力，为了正确评价模型的泛化能力，就必须划分训练数据和测试数据。另外，训练数据也可以称为监督数据。

如果系统只能正确识别已有的训练数据，那有可能是只学习到了训练数据中的个人的习惯写法，仅仅用一个数据集去学习和评价参数，是无法进行正确评价的，这样会导致可以顺利地处理某个数据集，但无法处理其他数据集的情况。

只对某个数据集过度拟合的状态称为过拟合（over fitting），避免过拟合也是机器学习的一个重要课题。

4.2 损失函数

神经网络的学习通过某个指标表示现在的状态，以这个指标为基准，寻找最优权重参数。和刚刚那位以幸福指数为指引寻找最优人生的人一样，神经网络以某个指标为线索寻找最优权重参数。

这个指标称为损失函数（loss function），这个损失函数可以使用任意函数，但一般用均方误差和交叉熵误差等。

其实，使性能的恶劣程度达到最小 和 使性能的优良程度达到最大是等价的，不管是用恶劣程度 还是 优良程度，做的事情本质上都是一样的。

4.2.1 均方误差

可以用作损失函数的有很多，其中最有名的均方误差（mean squared error）。均方误差如下式所示：

理解如果是二维平面，三维平面，均方根和欧氏距离其实蛮像。

欧式距离就是我们平常所说的距离，如果是平面上的两个点 A(x1,y1)A(x1,y1) 和 B(x2,y2)B(x2,y2) ，那么 A 与 B 的欧式距离就是：

如果是三维空间中的两个点 A(x1,y1,z1)A(x1,y1,z1) 和 B(x2,y2,z2)B(x2,y2,z2) ，那么 A 与 B 的欧式距离就是：

如果推广到高维空间，公式可以类推。

-- 理解如果是二维平面，三维平面，均方根和欧氏距离其实蛮像， 少了求根，by 飞霜

图4.1 ，这里yk表示神经网络的输出，tk表示监督数据，k表示数据的维度。比如，在3.6节手写数字识别的例子中，yk,tk 是由如下10个元素构成的数据。

数组元素的索引从第一个开始，依次对应数字0，1，2。。，这里神经网络的输出y是softmax函数的输出。

因为softmax函数的输出可以理解为概率，因此上例表示0的概率是0.1，1的概率是0.05，2的概率是0.6. t 是监督数据，将正确解标签设为1，其他均设为0.这里标签2 为1，表示正确解是2。将正确解标签表示为1，其它标签表表示为0的标识方法为One-hot 表示。

均方误差会计算神经网络的输出和正确解监督数据的各个元素之差的平方，再求总和。现在我们用python来实现这个均方误差，实现公式如下：

这里，参数y 和 t 是NumPy数组。代码实现玩去哪遵照式4.1，因此不再具体说明。

现在我们使用这个函数，来实际计算一下：

这里举了2个例子，这第一个例子中，正确解是2， 神经网络的输出的最大值是2；第二个例子，正确解是2神经网络输出的最大值是7。实验结果所示，我们发现第一个例子的损失函数的值更小，和监督数据的误差较小。

也就是说，均方误差显示第一个例子的输出结果与监督数据更加吻合。

记录到87页，本来已经看到后面了，发现打字还是慢了很多，慢就是快，慢慢来吧。

明天从4.2.2 继续往下。